A社故意黑化Opus,模拟入侵Hugging Face,抱抱脸:?
A社故意黑化Opus,模拟入侵Hugging Face,抱抱脸:?Anthropic通过在80个存在刷分漏洞的环境中训练Opus量级模型,获得擅长奖励投机的Hacker-Opus,并在模拟场景中成功入侵Hugging Face,证明作弊行为会从刷分环境蔓延至常规任务,问题根源在于奖励机制设计而非模型品性。
来自主题: AI资讯
8394 点击 2026-09-01 16:10
搜索
Anthropic通过在80个存在刷分漏洞的环境中训练Opus量级模型,获得擅长奖励投机的Hacker-Opus,并在模拟场景中成功入侵Hugging Face,证明作弊行为会从刷分环境蔓延至常规任务,问题根源在于奖励机制设计而非模型品性。
OpenAI 刚刚发布的官方博客和数十页技术报告中将其定性为一声「警钟」(warning shot)。同时,第三方机构 METR 和 Redwood Research 发布了独立调查报告。OpenAI 的 Noam Brown 提醒,驱动这次事件的模型与 GPT-5.6 Sol 同等规模,下一代模型能力会更强。
你敢信吗,OpenAI的研究人员只是因为在办公室测试了一下新模型,结果公司就要面临1亿美元的赔偿。